最近对物体检测的自我监督预防方法在很大程度上专注于预先绘制物体探测器的骨干，忽略了检测架构的关键部分。相反，我们介绍了DetReg，这是一种新的自我监督方法，用于预先列出整个对象检测网络，包括对象本地化和嵌入组件。在预先绘制期间，DetReg预测对象本地化以与无监督区域提议生成器匹配本地化，并同时将相应的特征嵌入与自我监控图像编码器的嵌入式对齐。我们使用DETR系列探测器实施DetReg，并显示它在Coco，Pascal VOC和空中客车船基准上的Fineetuned时改善了竞争性基线。在低数据制度中，包括半监督和几秒钟学习设置，DetReg建立了许多最先进的结果，例如，在Coco上，我们看到10次检测和+3.5的AP改进A +6.0 AP改进当培训只有1％的标签时。对于代码和预用模型，请访问https://amirbar.net/detreg的项目页面

The majority of existing post-hoc explanation approaches for machine learning models produce independent per-variable feature attribution scores, ignoring a critical characteristic, such as the inter-variable relationship between features that naturally occurs in visual and textual data. In response, we develop a novel model-agnostic and permutation-based feature attribution algorithm based on the relational analysis between input variables. As a result, we are able to gain a broader insight into machine learning model decisions and data. This type of local explanation measures the effects of interrelationships between local features, which provides another critical aspect of explanations. Experimental evaluations of our framework using setups involving both image and text data modalities demonstrate its effectiveness and validity.

Domain adaptation of GANs is a problem of fine-tuning the state-of-the-art GAN models (e.g. StyleGAN) pretrained on a large dataset to a specific domain with few samples (e.g. painting faces, sketches, etc.). While there are a great number of methods that tackle this problem in different ways there are still many important questions that remain unanswered. In this paper, we provide a systematic and in-depth analysis of the domain adaptation problem of GANs, focusing on the StyleGAN model. First, we perform a detailed exploration of the most important parts of StyleGAN that are responsible for adapting the generator to a new domain depending on the similarity between the source and target domains. In particular, we show that affine layers of StyleGAN can be sufficient for fine-tuning to similar domains. Second, inspired by these findings, we investigate StyleSpace to utilize it for domain adaptation. We show that there exist directions in the StyleSpace that can adapt StyleGAN to new domains. Further, we examine these directions and discover their many surprising properties. Finally, we leverage our analysis and findings to deliver practical improvements and applications in such standard tasks as image-to-image translation and cross-domain morphing.

Prior work has extensively studied the latent space structure of GANs for unconditional image synthesis, enabling global editing of generated images by the unsupervised discovery of interpretable latent directions. However, the discovery of latent directions for conditional GANs for semantic image synthesis (SIS) has remained unexplored. In this work, we specifically focus on addressing this gap. We propose a novel optimization method for finding spatially disentangled class-specific directions in the latent space of pretrained SIS models. We show that the latent directions found by our method can effectively control the local appearance of semantic classes, e.g., changing their internal structure, texture or color independently from each other. Visual inspection and quantitative evaluation of the discovered GAN controls on various datasets demonstrate that our method discovers a diverse set of unique and semantically meaningful latent directions for class-specific edits.

In this paper, we view a policy or plan as a transition system over a space of information states that reflect a robot's or other observer's perspective based on limited sensing, memory, computation, and actuation. Regardless of whether policies are obtained by learning algorithms, planning algorithms, or human insight, we want to know the limits of feasibility for given robot hardware and tasks. Toward the quest to find the best policies, we establish in a general setting that minimal information transition systems (ITSs) exist up to reasonable equivalence assumptions, and are unique under some general conditions. We then apply the theory to generate new insights into several problems, including optimal sensor fusion/filtering, solving basic planning tasks, and finding minimal representations for feasible policies.

决策和计划最复杂的任务之一是收集信息。当状态具有高维度，并且无法用参数分布表达其信念时，此任务就会变得更加复杂。尽管国家是高维的，但在许多问题中，其中只有一小部分可能涉及过渡状态和产生观察结果。我们利用这一事实来计算信息理论的预期奖励，共同信息（MI），在国家的较低维度子集中，以提高效率和不牺牲准确性。以前的工作中使用了类似的方法，但专门用于高斯分布，我们在这里将其扩展为一般分布。此外，我们将降低维度降低用于将新状态扩展到上一个的情况下，又不牺牲准确性。然后，我们继续开发以连续的蒙特卡洛（SMC）方式工作的MI估计器，并避免重建未来信念的表面。最后，我们展示了如何将这项工作应用于信息丰富的计划优化问题。然后在模拟主动大满贯问题的模拟中评估这项工作，其中证明了准确性和时序的提高。

与生成对抗网络（GAN）的图像和分割掩模的联合合成有望减少用像素通过像素注释收集图像数据所需的精力。但是，要学习高保真图像掩码合成，现有的GAN方法首先需要一个需要大量图像数据的预训练阶段，这限制了其在受限图像域中的利用。在这项工作中，我们迈出了一步，以减少此限制，从而引入了单次图像掩码合成的任务。我们旨在仅给出一个单个标记的示例，生成各种图像及其分割面具，并假设与以前的模型相反，则无法访问任何预训练数据。为此，我们受到单图像gan的最新体系结构发展的启发，我们介绍了OSMIS模型，该模型可以合成分割掩模，这些掩模与单次镜头中生成的图像完全一致。除了实现产生的口罩的高保真度外，OSMIS在图像合成质量和多样性中的最先进的单图像模型优于最先进的单位图。此外，尽管没有使用任何其他数据，OSMIS还是表现出令人印象深刻的能力，可以作为一击细分应用程序的有用数据增强的来源，提供了与标准数据增强技术相辅相成的性能提高。代码可从https://github.com/ boschresearch/One-shot-synthesis获得

社交网络数据评估的自动化是自然语言处理的经典挑战之一。在共同199年的大流行期间，关于了解健康命令的态度，公共信息中的采矿人们的立场变得至关重要。在本文中，作者提出了基于变压器体系结构的预测模型，以对Twitter文本中的前提进行分类。这项工作是作为2022年社交媒体挖掘（SMM4H）研讨会的一部分完成的。我们探索了现代变压器的分类器，以便构建管道有效地捕获推文语义。我们在Twitter数据集上的实验表明，在前提预测任务的情况下，罗伯塔（Roberta）优于其他变压器模型。该模型在ROC AUC值0.807方面实现了竞争性能，而F1得分为0.7648。

我们提出了神经特征融合场（N3F），当将后者应用于分析多个图像作为3D场景时，可改善密集的2D图像特征提取器的方法。给定图像功能提取器，例如使用自学的预训练，N3F使用它作为老师来学习在3D空间中定义的学生网络。 3D学生网络类似于蒸馏所述功能的神经辐射领域，可以使用通常的可区分渲染机械进行培训。结果，N3F很容易适用于大多数神经渲染制剂，包括香草Nerf及其扩展到复杂的动态场景。我们表明，我们的方法不仅可以在不使用手动标签的情况下在场景特定的神经领域的上下文中实现语义理解，而且还可以始终如一地改善自我监督的2D基线。通过考虑各种任务，例如2D对象检索，3D细分和场景编辑，包括各种序列，包括史诗般的基金斯基准中的长期以上的视频，可以证明这一点。

风险意识对于在线运营代理来说至关重要。但是，在部分可观察性下，它在具有挑战性的连续域中受到了较少的关注。现有的受约束POMDP算法通常用于离散状态和观察空间。此外，当前的受限公式的求解器不支持一般依赖信念的约束。至关重要的是，在POMDP设置中，以有限的方式解决了约束背景下的风险意识。本文提出了一种新颖的公式，用于规避风险依赖的受限受约束POMDP。我们的概率约束与奖励功能一样，是一般和信仰依赖性的。所提出的通用框架适用于具有以颗粒或参数信念为代表的非参数信念的连续域。我们表明，我们的配方比以前的方法更好地解释了风险。